Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
可信 RAG：检测生成式 AI 系统中错误信息与知识中毒的评估代理
🧭 RAG 评估 · 知识中毒检测
Tampere University
用 NLI 与加权中毒信号构建生成前评估代理，Trust Index 在 TruthfulQA 上达 91% 准确率和 100% 精确率
📌 工作参考价值（4 点）
- 在电商/广告/搜索 RAG 场景中，检索到的商品信息、商家文案可能被恶意污染，可把 NLI 事实校验 + 多信号加权评分做成生成前 guardrail，先丢弃低 Trust Index 的检索块，降低事实错误与合规风险。
- 采用中间件/Agent 形式实现，不改 LLM 主干，适合线上生成式推荐/客服 Agent 的风险拦截；但阈值必须按业务领域和生成风格单独校准，不要直接跨域复用，FEVER 结果表明跨数据集泛化需要 domain-specific calibration。
- 对指令注入类攻击，该方案召回高且易阻断；对实体替换、语义弱化等 subtle poisoning 仍难检测，电商场景应额外补充商品属性一致性校验或细粒度事实比对。
- 五信号检测器 + relevance-weighted aggregation + 高污染非线性阻尼可工程化为特征打分模块，适合作为检索后、生成前的风控层，优先处理高风险 query 和长尾商品知识。